Forwarded from Neural Shit
This media is not supported in your browser
VIEW IN TELEGRAM
Оче классная анимация бутылки Клейна
Видео отсюда
Видео отсюда
о чем и зачем канал
меня зовут Данил, я фаундер ИИ-стартапа и исследователь
много лет я занимался полупроводниковыми сенсорами и анализом воздуха, в узких кругах был известен как изобретатель «электронного носа». когда сенсоров стало много, начал заниматься машинным обучением и распознаванием образов. с университета увлекаюсь эволюцией и нейронауками.
через сенсоры воздуха попал в экологию – основал стартап где мы занимались анализом состава атмосферы и детекцией вредных промышленных выбросов. там мы собирали железяки для локальных измерений и анализировали спутниковые данные для более глобальных.
а потом увлекся ИИ — сначала от испуга (что, и меня заменят?), но сейчас уже по любви. в данный момент делаю свой стартап Quist в сфере автоматизации поиска информации в патентах и научных статьях, а также помогаю бизнесам интегрировать продукты на основе больших языковых моделей.
в общем я много где знаю по чуть-чуть, а местами даже кое-что. канал мне нужен, чтобы делиться своим «вау» от красоты и сложности мира, которая иногда является мне в описанных выше областях. друзья говорят, у меня получается понятно и увлеченно это «вау» передать. что ж, вам судить.
добро пожаловать. и пожалуйста, пишите комментарии — буду рад двусторонней коммуникации.
меня зовут Данил, я фаундер ИИ-стартапа и исследователь
много лет я занимался полупроводниковыми сенсорами и анализом воздуха, в узких кругах был известен как изобретатель «электронного носа». когда сенсоров стало много, начал заниматься машинным обучением и распознаванием образов. с университета увлекаюсь эволюцией и нейронауками.
через сенсоры воздуха попал в экологию – основал стартап где мы занимались анализом состава атмосферы и детекцией вредных промышленных выбросов. там мы собирали железяки для локальных измерений и анализировали спутниковые данные для более глобальных.
а потом увлекся ИИ — сначала от испуга (что, и меня заменят?), но сейчас уже по любви. в данный момент делаю свой стартап Quist в сфере автоматизации поиска информации в патентах и научных статьях, а также помогаю бизнесам интегрировать продукты на основе больших языковых моделей.
в общем я много где знаю по чуть-чуть, а местами даже кое-что. канал мне нужен, чтобы делиться своим «вау» от красоты и сложности мира, которая иногда является мне в описанных выше областях. друзья говорят, у меня получается понятно и увлеченно это «вау» передать. что ж, вам судить.
добро пожаловать. и пожалуйста, пишите комментарии — буду рад двусторонней коммуникации.
Пространство смыслов или как мыслит ИИ
tldr: он не использует слова, вместо них - вектора в 1000-мерном пространстве
Возможно, вы уже успели убедиться, что современный ИИ прекрасно воспринимает текстовую информацию — он "понимает" все, что вы ему напишете и "рассуждает" на уровне образованного собеседника. Однако удивительно мало внимания уделяется тому, как ИИ информацию обрабатывает и как образы, выраженные словами, превращаются в понятные машине нули и единицы. Серия постов, где я вместе с вами разбираюсь в возможностях и ограничениях GPT-подобных систем.
Начнем с того как воспринимаем информацию мы. Сознание человека привыкло оперировать словами и связанными с ними образами, позволяя нам складывать конструкции более высоких уровней абстракции. При этом помимо внутренней логики языка, мы осознаем логики причинно-следственных связей, эмоций и чувств, времени и пространства, звука, цвета и так далее. То есть наше сознание хотя и тексто-центрично, языком не исчерпывается (хотя философы на эту тему спорят).
ИИ не такой, кроме текста он не знает вообще ничего и только-только начинает добавлять в свою картину мира изображения. То есть он не понимает категории времени, но помнит все, что о времени было написано, например, с какой вероятностью после слова “время” встречается слово “идёт”, а с какой — “песок, время вода, скажи мне да”. И хотя интерфейсы для нашего взаимодействия с ИИ — это по сути слова, все расчеты в нейронных сетях сводятся к числам. Основой для "понимания" языка у ИИ являются не буквы и слова, а т.н. вектора в многомерном пространстве смыслов (vector embeddings). Поэтому при каждом запросе текст переносится в это пространство смыслов специального типа функцией (word2vec). Эту операцию можно представлять переводом с любого из человеческих языков на язык ИИ. В частном случае openAI у этого пространства 1536 измерений, у google - 768, но это детали. Главное здесь:
1. вектора в этом пространстве описывают все понятия и явлении, которые только могут быть выражены в языке
2. в том что для трехмерного сознания кожаных мешков размерность любого из этих пространств достаточно большое, чтобы не суметь осознать его примерно никогда. привет всем, кто пытался представить 4-мерый куб.
3. несмотря на семантическую природу пространства и привязку к языку, все операции над текстов сводятся к математическим операциям над векторами. их можно складывать и это равносильно сложению смысла слов в предложениях, или умножать — их скалярное произведение описывает, насколько два текста на любом из человеческих языков близки по смыслу между собой. причем для таких расчетов машине больше не нужно ничего "понимать", нужно (заткнуться) и считать.
Например, так выглядит слово “кот” в гугловском пространстве, определенном функцией BERT (фото 1).
Каждая координата этого вектора - число с плавающей точкой (float), которое уже записывается в память компьютера и занимает там 4 байта.
- Каждый такой вектор занимает 4 байта х размерность 768 = 3 кБ
- При этом слово занимает 2 байта на символ UTF-8 х 3 буквы в слове “кот” = 6 Б
Разница в 500 раз. Векторная запись одного слова занимаете памяти как целая страница текста. Дело в том, что помимо самого слова в нем хранится информация о понятии “кот” — сколько у него лап, какие он издает звуки и все, что нашлось в обучающей выборке, точнее какие слова встречались рядом со словом "кот" в текстах обучающей выборки .
Чудо в том, что после всех операций и обратной конвертации этих векторов на человеческий, получаются тексты связные не только на уровне последовательностей слов, но и на уровне причинно-следственных связей, о которых машина не имеет никакого представления. И чудо это заключено в конкретном способе трансформации текста в векторы, в количестве измерений и различных способах оптимизации. И уже существующие способы, хотя и хороши, все еще может быть улучшены значительно (до 40%). И это одна из точек активного приложения усилий ИИ-исследователей прямо сейчас.
1. Демо - уровень абстракции #1 - скрины отсюда ниже
2. Как работает Google BERT
3. Документация openAI
#AI #language
Возможно, вы уже успели убедиться, что современный ИИ прекрасно воспринимает текстовую информацию — он "понимает" все, что вы ему напишете и "рассуждает" на уровне образованного собеседника. Однако удивительно мало внимания уделяется тому, как ИИ информацию обрабатывает и как образы, выраженные словами, превращаются в понятные машине нули и единицы. Серия постов, где я вместе с вами разбираюсь в возможностях и ограничениях GPT-подобных систем.
Начнем с того как воспринимаем информацию мы. Сознание человека привыкло оперировать словами и связанными с ними образами, позволяя нам складывать конструкции более высоких уровней абстракции. При этом помимо внутренней логики языка, мы осознаем логики причинно-следственных связей, эмоций и чувств, времени и пространства, звука, цвета и так далее. То есть наше сознание хотя и тексто-центрично, языком не исчерпывается (хотя философы на эту тему спорят).
ИИ не такой, кроме текста он не знает вообще ничего и только-только начинает добавлять в свою картину мира изображения. То есть он не понимает категории времени, но помнит все, что о времени было написано, например, с какой вероятностью после слова “время” встречается слово “идёт”, а с какой — “песок, время вода, скажи мне да”. И хотя интерфейсы для нашего взаимодействия с ИИ — это по сути слова, все расчеты в нейронных сетях сводятся к числам. Основой для "понимания" языка у ИИ являются не буквы и слова, а т.н. вектора в многомерном пространстве смыслов (vector embeddings). Поэтому при каждом запросе текст переносится в это пространство смыслов специального типа функцией (word2vec). Эту операцию можно представлять переводом с любого из человеческих языков на язык ИИ. В частном случае openAI у этого пространства 1536 измерений, у google - 768, но это детали. Главное здесь:
1. вектора в этом пространстве описывают все понятия и явлении, которые только могут быть выражены в языке
2. в том что для трехмерного сознания кожаных мешков размерность любого из этих пространств достаточно большое, чтобы не суметь осознать его примерно никогда. привет всем, кто пытался представить 4-мерый куб.
3. несмотря на семантическую природу пространства и привязку к языку, все операции над текстов сводятся к математическим операциям над векторами. их можно складывать и это равносильно сложению смысла слов в предложениях, или умножать — их скалярное произведение описывает, насколько два текста на любом из человеческих языков близки по смыслу между собой. причем для таких расчетов машине больше не нужно ничего "понимать", нужно (заткнуться) и считать.
Например, так выглядит слово “кот” в гугловском пространстве, определенном функцией BERT (фото 1).
Каждая координата этого вектора - число с плавающей точкой (float), которое уже записывается в память компьютера и занимает там 4 байта.
- Каждый такой вектор занимает 4 байта х размерность 768 = 3 кБ
- При этом слово занимает 2 байта на символ UTF-8 х 3 буквы в слове “кот” = 6 Б
Разница в 500 раз. Векторная запись одного слова занимаете памяти как целая страница текста. Дело в том, что помимо самого слова в нем хранится информация о понятии “кот” — сколько у него лап, какие он издает звуки и все, что нашлось в обучающей выборке, точнее какие слова встречались рядом со словом "кот" в текстах обучающей выборки .
Чудо в том, что после всех операций и обратной конвертации этих векторов на человеческий, получаются тексты связные не только на уровне последовательностей слов, но и на уровне причинно-следственных связей, о которых машина не имеет никакого представления. И чудо это заключено в конкретном способе трансформации текста в векторы, в количестве измерений и различных способах оптимизации. И уже существующие способы, хотя и хороши, все еще может быть улучшены значительно (до 40%). И это одна из точек активного приложения усилий ИИ-исследователей прямо сейчас.
1. Демо - уровень абстракции #1 - скрины отсюда ниже
2. Как работает Google BERT
3. Документация openAI
#AI #language
демо по первой ссылке кликабельное, если открыть его с компьютера, можно поиграться с векторами для любого вашего текста — введите его в поле на самом верху. как работает визуализация 1000-мерных пространств расскажу в следующий раз.
а если ваши примеры окажутся более наглядными и креативными, скидывайте их в комментарии, но знайте - я старался 🙃
а если ваши примеры окажутся более наглядными и креативными, скидывайте их в комментарии, но знайте - я старался 🙃
Глубокое обучение, как зеркало сложных систем
«Никто не понимает, как работает глубокое обучение / нейронные сети / большие языковые модели» — слышали эту фразу? не смущает ли она вас? В нескольких постах разбираемся, что известно, а что нет.
В жизни нас окружает много сложных систем, поведение которых в будущем не может быть точно смоделировано (computationally irreducible complexity) — наш мозг, иммунная система, финансовые рынки, климатические и экологические системы, социальные группы и многое другое. Иногда не хватает информации о начальных условиях, иногда для моделирования требуются невероятные вычислительные мощности, а иногда это даже теоретически невозможно (хаос, привет).
В отсутствии понимания внутренних правил системы, бывают накоплены наблюдения за ней — например, анамнез людей с травмами разных частей головы, показания погоды за несколько лет, журналы родильных домов по всему региону или сборник медицинских учебников. Вместе с наблюдениями иногда сформирована интуиция — пациенты с повреждениями левой фронтальной части мозга чаще других теряют способность говорить, вокруг Рождества особенно морозно, больше всего детей рождается летом, а подорожник быстрее заживляет раны. Корреляции не всегда верные, но достаточно устойчивые чтобы закрепиться как «житейская мудрость».
Большие нейронные сети (neural networks, NN) — сложные системы, состоящие из десятков миллиардов нейронов и выполняющие сотни миллионов операций с числами в секунду. В момент создания это полностью детерминированные объекты, магия начинается только после их “обучения”, во время которого сети показывают примеры другой сложной системы, например, текста. Если данных много (а chatGPT обучен на корпусе из ~ста миллиардов страниц текста), они высокого качества (литературы и научных статей больше, чем твиттера), и достаточно разнообразны (представлены разные языки, национальности, гендеры, политические взгляды), глядя на них нейронная сеть «обучится» хорошо и скопирует внутренние взаимосвязи построив свою собственную интуицию.
После обучения вся информация или “знания” NN распределённо хранятся в этих миллиардах нейронов, и хотя система не перестает быть строго детерминированной (каждое из чисел известно точно), из-за огромного количества их интерпретация сильно усложняется и становится похожа на исследование нашего мозга. Он тоже состоит из десятков миллиардов нейронов, правда иной природы. За всю историю развития нейронауки ученые объединили скопления нейронов в отделы, установили за какие функции они отвечают, но где именно рождается та или иная мысль в большинстве случаев неизвестно, а что такое сознание неизвестно вовсе.
В случае с текстом обучение, очевидно, работает. Современные большие языковые модели успешно построили собственные интуиции для человеческих языков. Является ли это “пониманием” написанного, и можно ли на таких механизмах построить “сознание”, это отдельный разговор, который в основном сводится к определению терминов. Но совершенно точно это является пониманием математической закономерности языка, скрытой от нашей человеческой интуиции. Наш мозг выполняет операции над образами а не числами, но удивительным образом эти два подхода приводят к очень близким результатам.
Вот и получается что одно сложное, которое вы контролируете полностью, имитирует поведение другого сложного, за которым наблюдало достаточно много раз. И несмотря на очень поверхностные наше представления о том, как именно это происходит, это сложное решает прикладные задачи и усложняется дальше. С другой стороны, человек довольно долго и успешно существовал совсем не понимая, как работает собственный мозг. Это должно обнадеживать
1. Визуальная демонстрация того как нейронные сети учатся
2. Что известно об устройстве GPT-4
#AI #DL #LLM #complexity
«Никто не понимает, как работает глубокое обучение / нейронные сети / большие языковые модели» — слышали эту фразу? не смущает ли она вас? В нескольких постах разбираемся, что известно, а что нет.
В жизни нас окружает много сложных систем, поведение которых в будущем не может быть точно смоделировано (computationally irreducible complexity) — наш мозг, иммунная система, финансовые рынки, климатические и экологические системы, социальные группы и многое другое. Иногда не хватает информации о начальных условиях, иногда для моделирования требуются невероятные вычислительные мощности, а иногда это даже теоретически невозможно (хаос, привет).
В отсутствии понимания внутренних правил системы, бывают накоплены наблюдения за ней — например, анамнез людей с травмами разных частей головы, показания погоды за несколько лет, журналы родильных домов по всему региону или сборник медицинских учебников. Вместе с наблюдениями иногда сформирована интуиция — пациенты с повреждениями левой фронтальной части мозга чаще других теряют способность говорить, вокруг Рождества особенно морозно, больше всего детей рождается летом, а подорожник быстрее заживляет раны. Корреляции не всегда верные, но достаточно устойчивые чтобы закрепиться как «житейская мудрость».
Большие нейронные сети (neural networks, NN) — сложные системы, состоящие из десятков миллиардов нейронов и выполняющие сотни миллионов операций с числами в секунду. В момент создания это полностью детерминированные объекты, магия начинается только после их “обучения”, во время которого сети показывают примеры другой сложной системы, например, текста. Если данных много (а chatGPT обучен на корпусе из ~ста миллиардов страниц текста), они высокого качества (литературы и научных статей больше, чем твиттера), и достаточно разнообразны (представлены разные языки, национальности, гендеры, политические взгляды), глядя на них нейронная сеть «обучится» хорошо и скопирует внутренние взаимосвязи построив свою собственную интуицию.
После обучения вся информация или “знания” NN распределённо хранятся в этих миллиардах нейронов, и хотя система не перестает быть строго детерминированной (каждое из чисел известно точно), из-за огромного количества их интерпретация сильно усложняется и становится похожа на исследование нашего мозга. Он тоже состоит из десятков миллиардов нейронов, правда иной природы. За всю историю развития нейронауки ученые объединили скопления нейронов в отделы, установили за какие функции они отвечают, но где именно рождается та или иная мысль в большинстве случаев неизвестно, а что такое сознание неизвестно вовсе.
В случае с текстом обучение, очевидно, работает. Современные большие языковые модели успешно построили собственные интуиции для человеческих языков. Является ли это “пониманием” написанного, и можно ли на таких механизмах построить “сознание”, это отдельный разговор, который в основном сводится к определению терминов. Но совершенно точно это является пониманием математической закономерности языка, скрытой от нашей человеческой интуиции. Наш мозг выполняет операции над образами а не числами, но удивительным образом эти два подхода приводят к очень близким результатам.
Вот и получается что одно сложное, которое вы контролируете полностью, имитирует поведение другого сложного, за которым наблюдало достаточно много раз. И несмотря на очень поверхностные наше представления о том, как именно это происходит, это сложное решает прикладные задачи и усложняется дальше. С другой стороны, человек довольно долго и успешно существовал совсем не понимая, как работает собственный мозг. Это должно обнадеживать
1. Визуальная демонстрация того как нейронные сети учатся
2. Что известно об устройстве GPT-4
#AI #DL #LLM #complexity
Откуда я это почувствовал? Запахи
К счастью, мир вокруг искусственным интеллектом не исчерпывается, и чтобы шире очертить диапазон тем этого канала, сегодня я начинаю рубрику “откуда я это почувствовал”, посвященную органам чувств.
Во-первых, человеческие опыты даны нам в чувствах, на чистом рацио далеко не уедешь. Во-вторых, я 5 лет создавал и исследовал устройства для анализа запахов часто оглядываясь на то, как эта задача была решена эволюцией. Так сформировалась оптика, в которой и органы чувств я начал рассматривать как сенсоры, проводящие измерения среды и передающие информацию на центральный компьютер в черепной коробке. Каждый из этих сенсоров наполнен изящными инженерными решениями и забавными несовершенствами. В третьих, оптика искусственного интеллекта сводит сенсорное восприятие мира к задачке из теории информации — сколько мегабайтов зрительного потока нужно обрабатывать в секунду чтобы ориентироваться в трехмерном пространстве? А с какой частотой воспринимать колебания воздуха, чтобы разобрать в нем человеческую речь? При переносе этой оптики обратно на человека возникает много интересных параллелей. Так как же и зачем мы вообще чувствуем запахи?
Обоняние, как и вкус — это химические рецепторы, то есть с их помощью мы воспринимаем химическую информацию о мире – условно говоря, из каких молекул он состоит. Это сильно отличается от зрения, слуха, осязания и равновесия, измеряющих физические величины. Это же по большому счету затрудняет сведение восприятие запаха к объективным величинам и затрудняет восприятие для машин, задумайтесь — обоняние, это единственное из чувств, в которых животные все еще не превзойдены никакими устройствами — собаки в аэропортах тому подтверждение.
Эволюционно обоняние — наиболее древнее из чувств живых существ на Земле. Для ранних одноклеточных его сложно отличить от вкуса, но так или иначе, химическая информация была важнее физической. Пробуя “первичноый бульон” химическими рецепторами, можно было понять, где больше еды, а где больше опасностей. Ну и на этом основании грести своими жгутиками в ту или иную сторону. С тех пор как жизнь выбралась на сушу, тот же метод стал применяться и к воздуху, что привело к развитию отдельных систем обоняния и вкуса. С тех пор первые анализируют соединения растворенные в воздухе, вторые — в слюне.
Обоняние используется разными животными для поиска еды, оценки ее съедобности, обнаружения хищников, взаимодействия с партнерами, коммуникации с сородичими и даже для ориентации в пространстве. Наиболее развито обоняние у млекопитающих — собаки, слоны и кроты обладают наиболее высокой чувствительностью, а их географическая ориентация почти полностью построена на запахах. При этом человека и почти всех приматов это не касается — описанные выше функции у них стало выполнять зрение, а с развитием речи и слух, со временем важность обоняния падала и обонятельные рецепторы вместе с соответствующими отделами мозга деградировали. Приматы, киты и дельфины даже выделены в отдельную группу микросматов (недонюхов), когда все остальные млекопитающие — макросматы. Вместе с тем древние функции могли редуцироваться до инстинктов и уйти в поле бессознательного, так, например, есть научные работы утверждающие, что люди все-таки ориентируются на запах при выборе партнеров.
С вами было вечно затянутое введение, в следующих сериях шаг за шагом разберемся в том, как химическая информация из воздуха попадает к нам в сознание. А вы расскажите, что еще интересно про обоняние? Постараюсь ответить в комментариях или следующих постах.
#senses #air @levels_of_abstraction
К счастью, мир вокруг искусственным интеллектом не исчерпывается, и чтобы шире очертить диапазон тем этого канала, сегодня я начинаю рубрику “откуда я это почувствовал”, посвященную органам чувств.
Во-первых, человеческие опыты даны нам в чувствах, на чистом рацио далеко не уедешь. Во-вторых, я 5 лет создавал и исследовал устройства для анализа запахов часто оглядываясь на то, как эта задача была решена эволюцией. Так сформировалась оптика, в которой и органы чувств я начал рассматривать как сенсоры, проводящие измерения среды и передающие информацию на центральный компьютер в черепной коробке. Каждый из этих сенсоров наполнен изящными инженерными решениями и забавными несовершенствами. В третьих, оптика искусственного интеллекта сводит сенсорное восприятие мира к задачке из теории информации — сколько мегабайтов зрительного потока нужно обрабатывать в секунду чтобы ориентироваться в трехмерном пространстве? А с какой частотой воспринимать колебания воздуха, чтобы разобрать в нем человеческую речь? При переносе этой оптики обратно на человека возникает много интересных параллелей. Так как же и зачем мы вообще чувствуем запахи?
Обоняние, как и вкус — это химические рецепторы, то есть с их помощью мы воспринимаем химическую информацию о мире – условно говоря, из каких молекул он состоит. Это сильно отличается от зрения, слуха, осязания и равновесия, измеряющих физические величины. Это же по большому счету затрудняет сведение восприятие запаха к объективным величинам и затрудняет восприятие для машин, задумайтесь — обоняние, это единственное из чувств, в которых животные все еще не превзойдены никакими устройствами — собаки в аэропортах тому подтверждение.
Эволюционно обоняние — наиболее древнее из чувств живых существ на Земле. Для ранних одноклеточных его сложно отличить от вкуса, но так или иначе, химическая информация была важнее физической. Пробуя “первичноый бульон” химическими рецепторами, можно было понять, где больше еды, а где больше опасностей. Ну и на этом основании грести своими жгутиками в ту или иную сторону. С тех пор как жизнь выбралась на сушу, тот же метод стал применяться и к воздуху, что привело к развитию отдельных систем обоняния и вкуса. С тех пор первые анализируют соединения растворенные в воздухе, вторые — в слюне.
Обоняние используется разными животными для поиска еды, оценки ее съедобности, обнаружения хищников, взаимодействия с партнерами, коммуникации с сородичими и даже для ориентации в пространстве. Наиболее развито обоняние у млекопитающих — собаки, слоны и кроты обладают наиболее высокой чувствительностью, а их географическая ориентация почти полностью построена на запахах. При этом человека и почти всех приматов это не касается — описанные выше функции у них стало выполнять зрение, а с развитием речи и слух, со временем важность обоняния падала и обонятельные рецепторы вместе с соответствующими отделами мозга деградировали. Приматы, киты и дельфины даже выделены в отдельную группу микросматов (недонюхов), когда все остальные млекопитающие — макросматы. Вместе с тем древние функции могли редуцироваться до инстинктов и уйти в поле бессознательного, так, например, есть научные работы утверждающие, что люди все-таки ориентируются на запах при выборе партнеров.
С вами было вечно затянутое введение, в следующих сериях шаг за шагом разберемся в том, как химическая информация из воздуха попадает к нам в сознание. А вы расскажите, что еще интересно про обоняние? Постараюсь ответить в комментариях или следующих постах.
#senses #air @levels_of_abstraction
Откуда я это почувствовал? Запахи, часть 2
Продолжение поста с описанием функций обоняния, переходим к технике. Вы вошли в комнату, где кто-то варит кофе.
1️⃣ Для того чтобы попасть к нам в нос любое вещество сначала должно быть растворено в воздухе. Это ограничивает пахучие соединений по массе – тяжелые не летают. При этом летучесть зависит от температуры, поэтому горячая еда и напитки ароматнее, а некоторые духи звучат только на коже. Так, с поверхности чашки кофе испаряются десятки разных соединений –кетонов, кислот, альдегидов и соединений серы.
В каждом нашем вдохе 3-4 литра воздуха. Азот, кислород и CO2 запаха не имеют, а вот соединения из чашки кофе создают заметные ароматы даже в концентрации ~0.001%. Они попадают в носоглотку, растворяются в тонкой пленке воды на слизистой обонятельного эпителия — чувствительной области, покрытой рецепторами. Эпителий находится довольно глубоко в носовой полости, чуть ниже глазных яблок, то есть сам нос в обонянии участвует только как входное отверстие.
2️⃣ Эпителий покрыт обонятельными или олфакторными рецепторами — это сложные белки, которые и определяют наш обонятельный диапазон. Они как антенны одним концом ловят молекулы, а другим закреплены на нервной клетке.
У нас, недонюхов, в носу около 1-6 миллионов обонятельных клеток, у собак их больше 200 млн. И если все нервные клетки, связанные с восприятием цвета, можно разделить на 3 типа (красные, синие, и зеленые), разных рецепторов вкуса у нас 5 (сладкий-кислый-соленый-горький-умами), а звук и вовсе условно двумерный (интенсивность и частота колебания барабанной перепонки), то разных типов обонятельных рецепторов около 400. Это одна из причин, почему обоняние до сих пор не оцифровано приборами – если в каждом пикселе экрана нужно 3 диода (RGB), то каждый электронный нос должен состоять из 200-400 сенсоров, а это просто технически сложно.
То есть пространство обонятельных образов 400-мерно, что конечно все еще меньше 1000+ измерений в языковых моделях, но интуитивно кажется что в тексте можно закодировать намного больше информации, чем в запахах. При этом ученые до сих пор не могут понять, сколько разных молекул способен почувствовать человеческий нос, оценки рознятся от 10 000 до бесконечности. А уж комбинаций из этих молекул, то есть разных ароматов, с которыми мы можем столкнуться в жизни на порядки больше, как минимум триллион 🤯
Другая проблема в том, что каждый из этих рецепторов связывается не с одним соединением, а с целым спектром и реагирует на него со своей интенсивностью, что делает обоняние намного сложнее даже вкуса, где рецепторы более изолировано отвечают за отдельные характеристики. То есть у нас нет отдельных рецепторов на запах кофе и даже на все пряные или фруктовые запахи, эти концепции появляются позже в мозге, но не при контакте со стимулом.
Спектр чувствительности всех обонятельных рецепторов определяет то, что мы вообще можем почувствовать. При этом до сих пор не до конца понятно, почему одни молекулы — имеют запах, а другие нет. Сначала считалось, что дело в размере молекулы, потом - в форме, дальше в наличии определенных химических групп. Сейчас кажется, что важно всё, но стройной модели обоняния все еще нет. То есть если нарисовать на бумаге новое соединение предсказать его запах теоретически почти невозможно, хотя исследования в этом направлении ведутся.
3️⃣ При соединении с подходящей олфакторной молекулой из чашки кофе каждый рецептор активируется и запускает механизм формирования электрического импульса. Начиная с этого момента химическая информация условно "оцифрована" и дальше передается в виде электрических сигналов через транспортные нейроны как по проводам, пока не попадает в мозг.
Пост уже достаточно длинный, так что психофизику обоняния оставлю на следующий раз. Все описанное выше происходит параллельно во всех миллионах рецепторов 400 разных видов примерно за 0.1-0.5 секунд после того, как мы зашли в комнату с кофе, так что не только тут, но и в каждом акте обоняние мы обрабатываем внушительные объемы информации.
#senses #air
Продолжение поста с описанием функций обоняния, переходим к технике. Вы вошли в комнату, где кто-то варит кофе.
1️⃣ Для того чтобы попасть к нам в нос любое вещество сначала должно быть растворено в воздухе. Это ограничивает пахучие соединений по массе – тяжелые не летают. При этом летучесть зависит от температуры, поэтому горячая еда и напитки ароматнее, а некоторые духи звучат только на коже. Так, с поверхности чашки кофе испаряются десятки разных соединений –кетонов, кислот, альдегидов и соединений серы.
В каждом нашем вдохе 3-4 литра воздуха. Азот, кислород и CO2 запаха не имеют, а вот соединения из чашки кофе создают заметные ароматы даже в концентрации ~0.001%. Они попадают в носоглотку, растворяются в тонкой пленке воды на слизистой обонятельного эпителия — чувствительной области, покрытой рецепторами. Эпителий находится довольно глубоко в носовой полости, чуть ниже глазных яблок, то есть сам нос в обонянии участвует только как входное отверстие.
2️⃣ Эпителий покрыт обонятельными или олфакторными рецепторами — это сложные белки, которые и определяют наш обонятельный диапазон. Они как антенны одним концом ловят молекулы, а другим закреплены на нервной клетке.
У нас, недонюхов, в носу около 1-6 миллионов обонятельных клеток, у собак их больше 200 млн. И если все нервные клетки, связанные с восприятием цвета, можно разделить на 3 типа (красные, синие, и зеленые), разных рецепторов вкуса у нас 5 (сладкий-кислый-соленый-горький-умами), а звук и вовсе условно двумерный (интенсивность и частота колебания барабанной перепонки), то разных типов обонятельных рецепторов около 400. Это одна из причин, почему обоняние до сих пор не оцифровано приборами – если в каждом пикселе экрана нужно 3 диода (RGB), то каждый электронный нос должен состоять из 200-400 сенсоров, а это просто технически сложно.
То есть пространство обонятельных образов 400-мерно, что конечно все еще меньше 1000+ измерений в языковых моделях, но интуитивно кажется что в тексте можно закодировать намного больше информации, чем в запахах. При этом ученые до сих пор не могут понять, сколько разных молекул способен почувствовать человеческий нос, оценки рознятся от 10 000 до бесконечности. А уж комбинаций из этих молекул, то есть разных ароматов, с которыми мы можем столкнуться в жизни на порядки больше, как минимум триллион 🤯
Другая проблема в том, что каждый из этих рецепторов связывается не с одним соединением, а с целым спектром и реагирует на него со своей интенсивностью, что делает обоняние намного сложнее даже вкуса, где рецепторы более изолировано отвечают за отдельные характеристики. То есть у нас нет отдельных рецепторов на запах кофе и даже на все пряные или фруктовые запахи, эти концепции появляются позже в мозге, но не при контакте со стимулом.
Спектр чувствительности всех обонятельных рецепторов определяет то, что мы вообще можем почувствовать. При этом до сих пор не до конца понятно, почему одни молекулы — имеют запах, а другие нет. Сначала считалось, что дело в размере молекулы, потом - в форме, дальше в наличии определенных химических групп. Сейчас кажется, что важно всё, но стройной модели обоняния все еще нет. То есть если нарисовать на бумаге новое соединение предсказать его запах теоретически почти невозможно, хотя исследования в этом направлении ведутся.
3️⃣ При соединении с подходящей олфакторной молекулой из чашки кофе каждый рецептор активируется и запускает механизм формирования электрического импульса. Начиная с этого момента химическая информация условно "оцифрована" и дальше передается в виде электрических сигналов через транспортные нейроны как по проводам, пока не попадает в мозг.
Пост уже достаточно длинный, так что психофизику обоняния оставлю на следующий раз. Все описанное выше происходит параллельно во всех миллионах рецепторов 400 разных видов примерно за 0.1-0.5 секунд после того, как мы зашли в комнату с кофе, так что не только тут, но и в каждом акте обоняние мы обрабатываем внушительные объемы информации.
#senses #air
👋 всем привет! давно не виделись, как вы тут?
регулярность письма для меня пока самый большой челлендж в ведении блога. хотя в последнее время было особенно много причин отвлечься:
— еще одна эмиграция, теперь в Барселону. забавно отмечать, что после всех скитаний, это уже не вызывает должного стресса. но возможно это пока
— много работы над нашим стартапом Quist, где мы строим ИИ для поиска информации в научной литературе, патентах и прочих уголках человеческого знания. прямо сейчас делаем много пилотных проектов с научными компаниями, лабораториями и даже инвестиционными фирмами. заработали первые деньги и попали в классный акселератор eWorks в Барселоне, что дало буст к международному нетворкингу и в целом помогает двигаться вперед
— попутно начал писать код не только для себя, но и для других компаний, которые хотят продукты на LLM, вписался несколько больших проектов диапазона. диапазон применений от торговых роботов для тендерных аукционов до чат-ботов карьерных консультантов. так что если вам вдруг показалось, что пора делать ИИ-приложение, пишите, отговорю :)
— в целом ощущаю близкой к завершению трансформацию из прикладного ученого в прости-господи ИИ-стартапера. чувствую себя в правильное время в правильной области, и надеюсь, что скоро смогу больше об этом рассказывать
а поможет мне в этом лучше всего ваша обратная связь. я скоро вернусь с тематическими постами (черновиков накопилось много), а вы, пожалуйста, не стесняйтесь писать в комментариях, о чем интересно было бы почитать именно вам, задавайте вопросы (как любил повторять мой преподаватель в МГУ — глупых вопросов не бывает), скидывайте мемы, пересылайте посты друзьям и вообще чувствуйте себя как дома.
до скорой!
#startup
регулярность письма для меня пока самый большой челлендж в ведении блога. хотя в последнее время было особенно много причин отвлечься:
— еще одна эмиграция, теперь в Барселону. забавно отмечать, что после всех скитаний, это уже не вызывает должного стресса. но возможно это пока
— много работы над нашим стартапом Quist, где мы строим ИИ для поиска информации в научной литературе, патентах и прочих уголках человеческого знания. прямо сейчас делаем много пилотных проектов с научными компаниями, лабораториями и даже инвестиционными фирмами. заработали первые деньги и попали в классный акселератор eWorks в Барселоне, что дало буст к международному нетворкингу и в целом помогает двигаться вперед
— попутно начал писать код не только для себя, но и для других компаний, которые хотят продукты на LLM, вписался несколько больших проектов диапазона. диапазон применений от торговых роботов для тендерных аукционов до чат-ботов карьерных консультантов. так что если вам вдруг показалось, что пора делать ИИ-приложение, пишите, отговорю :)
— в целом ощущаю близкой к завершению трансформацию из прикладного ученого в прости-господи ИИ-стартапера. чувствую себя в правильное время в правильной области, и надеюсь, что скоро смогу больше об этом рассказывать
а поможет мне в этом лучше всего ваша обратная связь. я скоро вернусь с тематическими постами (черновиков накопилось много), а вы, пожалуйста, не стесняйтесь писать в комментариях, о чем интересно было бы почитать именно вам, задавайте вопросы (как любил повторять мой преподаватель в МГУ — глупых вопросов не бывает), скидывайте мемы, пересылайте посты друзьям и вообще чувствуйте себя как дома.
до скорой!
#startup
Quist AI
Quist AI | Readymag
Quist, your AI-powered employee for data-driven success
почему ИИ-революция случилась именно сейчас?
уже несколько лет подряд ИИ делает то, что раньше считалось невозможным, компании инвестируют миллиарды в обучение все больших нейросетей, а люди вокруг повсеместно становятся “экспертами” (и я сам часть этой проблемы 🙃). но после того как мир увидел chatGPT, порой кажется, что сознательные роботы / сингулярность / AGI / восстание машин (нужное подчеркнуть) уже на пороге. а это действительно нечто совсем иное, чего в раньше не происходило никогда. и даже тест Тьюринга, концептуально разделяющий людей и роботов весь ХХ век, дал трещину — роботы все лучше притворяются людьми, а людям все сложнее доказать, что они не роботы, решая усложняющиеся капчи.
но что случилось такого, чего не происходило раньше? и действительно ли это технологическая "революция", которую энтузиасты сравнивают с изобретениям электричества, или обыкновенное линейное развитие прогресса, которое мы видели и раньше?
1️⃣ Данные. C момента изобретения письменности мы накопили очень много знаний о мире, а затем аккуратно и положили их все в интернет. Одна википедия — вершина человеческой техногенной цивилизации, обеспечившая доступом к информации каждого, у кого есть хотя бы старенький смартфон (дайте ей денег за это). И хотя мы сами временами используем это сокровище не самыми рациональным способом (слишком много мемов), обучение нейросетей упростилось радикально — бесплатные данные доступны в огромных количествах.
для масштаба: самая большая открытая языковая модель LLAMA-3 во время обучения видела ~75 терабайт текста, которые помимо википедии включают в себя весь открытый интернет, мировую литературу, реддит, твиттер, ArXiv c научными статьями, Github репозитории, и все это на 30 языках.
2️⃣ Вычислительные мощности. Их измеряют количеством вычислений в секунду и всю историю человечества эта скорость растет. закон Мура говорит о том, что количество транзисторов на процессоре увеличивается вдвое каждые ~два года, а Рэй Курцвейл заметил, что это справедливо не только для процессоров, но и для вычислительных мощностей всего человечества в целом, которые увеличиваются с экспоненциальной скоростью последние 100 лет, начиная с электромеханических арифмометров и заканчивая GPU гигантскими кластерами (картинка)
3️⃣ Вычислительные архитектуры (нейросети, глубокое обучение, трансформеры, RL). Соединение вычислительных мощностей с данными не создавало чуда, пока ученые не изобрели способ переноса знаний из текстов в код, подобный обучению детей. Для этого потребовалась очень длинная цепочка изобретений начиная от первых нейронных сетей еще в 1958 (без достаточно мощных компьютеров, они долго пролежали без дела), до обратного распространения ошибки (backpropagation), обучения с подкреплением (reinforcement learning) и появления архитектуры нейросетей "трансформер", которая стала стандартом для больших языковых моделей и до сих пор повсеместно используется в большинстве LLM, которые мы используем. и именно Трансформеры ответственны за T в аббревиатуре GPT (хотя ее изобретатели "просто" пытались улучшить google translate, но это отдельная история). а про обучение нейросетей у меня был отдельный пост.
4️⃣ Деньги. Все элементы выше какое-то время сосуществовали вместе, пока в ~2020 году небольшой, но амбициозный стартап openAI не вложил ~100 млн $ в рискованное мероприятие — обучение самой большой на тот момент языковой модели GPT-3 на 175 млрд параметров. гипотеза о связи размера сети и длительности обучения с конечной "интеллектуальностью" модели, еще не была подтверждена экспериментально, а поскольку проверка стоила колоссальных ресурсов, никто не спешил делать это первым.
рискованная ставка openAI выстрелила и надолго сделала их лидерами области. а подтверждение закона масштаба запустило гонку бюджетов. то что нам сейчас кажется примитивной технологией древних людей (помните GPT-3?), показало всему биг-теху, что сжигать деньги на GPU — самое благородное дело 2020-х, и конца тому не видно
🟦 Итого: ИИ революция = большие данные Х вычислительные мощности Х глубокое обучение X огромные деньги
#AI #history
уже несколько лет подряд ИИ делает то, что раньше считалось невозможным, компании инвестируют миллиарды в обучение все больших нейросетей, а люди вокруг повсеместно становятся “экспертами” (и я сам часть этой проблемы 🙃). но после того как мир увидел chatGPT, порой кажется, что сознательные роботы / сингулярность / AGI / восстание машин (нужное подчеркнуть) уже на пороге. а это действительно нечто совсем иное, чего в раньше не происходило никогда. и даже тест Тьюринга, концептуально разделяющий людей и роботов весь ХХ век, дал трещину — роботы все лучше притворяются людьми, а людям все сложнее доказать, что они не роботы, решая усложняющиеся капчи.
но что случилось такого, чего не происходило раньше? и действительно ли это технологическая "революция", которую энтузиасты сравнивают с изобретениям электричества, или обыкновенное линейное развитие прогресса, которое мы видели и раньше?
1️⃣ Данные. C момента изобретения письменности мы накопили очень много знаний о мире, а затем аккуратно и положили их все в интернет. Одна википедия — вершина человеческой техногенной цивилизации, обеспечившая доступом к информации каждого, у кого есть хотя бы старенький смартфон (дайте ей денег за это). И хотя мы сами временами используем это сокровище не самыми рациональным способом (слишком много мемов), обучение нейросетей упростилось радикально — бесплатные данные доступны в огромных количествах.
для масштаба: самая большая открытая языковая модель LLAMA-3 во время обучения видела ~75 терабайт текста, которые помимо википедии включают в себя весь открытый интернет, мировую литературу, реддит, твиттер, ArXiv c научными статьями, Github репозитории, и все это на 30 языках.
2️⃣ Вычислительные мощности. Их измеряют количеством вычислений в секунду и всю историю человечества эта скорость растет. закон Мура говорит о том, что количество транзисторов на процессоре увеличивается вдвое каждые ~два года, а Рэй Курцвейл заметил, что это справедливо не только для процессоров, но и для вычислительных мощностей всего человечества в целом, которые увеличиваются с экспоненциальной скоростью последние 100 лет, начиная с электромеханических арифмометров и заканчивая GPU гигантскими кластерами (картинка)
3️⃣ Вычислительные архитектуры (нейросети, глубокое обучение, трансформеры, RL). Соединение вычислительных мощностей с данными не создавало чуда, пока ученые не изобрели способ переноса знаний из текстов в код, подобный обучению детей. Для этого потребовалась очень длинная цепочка изобретений начиная от первых нейронных сетей еще в 1958 (без достаточно мощных компьютеров, они долго пролежали без дела), до обратного распространения ошибки (backpropagation), обучения с подкреплением (reinforcement learning) и появления архитектуры нейросетей "трансформер", которая стала стандартом для больших языковых моделей и до сих пор повсеместно используется в большинстве LLM, которые мы используем. и именно Трансформеры ответственны за T в аббревиатуре GPT (хотя ее изобретатели "просто" пытались улучшить google translate, но это отдельная история). а про обучение нейросетей у меня был отдельный пост.
4️⃣ Деньги. Все элементы выше какое-то время сосуществовали вместе, пока в ~2020 году небольшой, но амбициозный стартап openAI не вложил ~100 млн $ в рискованное мероприятие — обучение самой большой на тот момент языковой модели GPT-3 на 175 млрд параметров. гипотеза о связи размера сети и длительности обучения с конечной "интеллектуальностью" модели, еще не была подтверждена экспериментально, а поскольку проверка стоила колоссальных ресурсов, никто не спешил делать это первым.
рискованная ставка openAI выстрелила и надолго сделала их лидерами области. а подтверждение закона масштаба запустило гонку бюджетов. то что нам сейчас кажется примитивной технологией древних людей (помните GPT-3?), показало всему биг-теху, что сжигать деньги на GPU — самое благородное дело 2020-х, и конца тому не видно
🟦 Итого: ИИ революция = большие данные Х вычислительные мощности Х глубокое обучение X огромные деньги
#AI #history
Критический взгляд на инвестиции в ИИ
ложка дёгтя к тезису о гонке инвестиций в ИИ иp последнего поста. Вчера послушал подкаст Goldman Sachs с известным экономистом из MIT Daron Acemoglu — A sceptical look on AI investments. Обсуждался объем инвестиций в ИИ (есть оценки в космический $1 триллион на ближайшие несколько лет) и ожидаемые возвраты в виде прироста к продуктивности работников и увеличения ВВП США.
TLDR: Daren не видит даже теоретической возможности, что они когда-нибудь окупятся, и утверждает, что это противоречит как имеющимся на сегодня данным, так и экономической теории в целом.
📈Оптимистичный сценарий (статья, кстати тоже от Goldman Sachs): будут 25% автоматизированы рабочих задач, прирост продуктивности работников в США - 9%, рост ВВП — 7% в течение 10 лет.
📉Сценарий Даррена (статья): автоматизация затронет меньше 5% рабочих задач, прирост продуктивности будет ~0.5% и меньше 1% роста ВВП.
Ведущая задала смешной вопрос:
- может ли биг-тех в текущей ситуации действовать иначе, учтывая шанс, что инвестиции не окупятся никогда?
- не могут, потому что даже с минимальным шансом, что это когда-либо произойдет, они не могут позволить себе допустить, что технология первой окажется у конкурентов. в общем все побежали, и я побежал, молох в действии.
А еще сегодня вышла статья с оценкой расходов openAI — траты на зарплаты ~1500 разработчиков — $1.5 млрд в год (да, это в среднем🙈по миллиону на человека) и еще $3.5 млрд на GPU. То есть 5 млрд убытков при $3.5 млрд выручки
⚰️ Эти сумасшедшие расходы подпитываются уверенностью в том, что через 2-5-10 лет наступит AGI, который автоматизирует нас всех и заработает все деньги мира сам. Но что если нет? В таком случае пузырь лопнет очень громко. И в каком лагере вы лично - скептиков или энтузиастов?
#AI #economy
ложка дёгтя к тезису о гонке инвестиций в ИИ иp последнего поста. Вчера послушал подкаст Goldman Sachs с известным экономистом из MIT Daron Acemoglu — A sceptical look on AI investments. Обсуждался объем инвестиций в ИИ (есть оценки в космический $1 триллион на ближайшие несколько лет) и ожидаемые возвраты в виде прироста к продуктивности работников и увеличения ВВП США.
TLDR: Daren не видит даже теоретической возможности, что они когда-нибудь окупятся, и утверждает, что это противоречит как имеющимся на сегодня данным, так и экономической теории в целом.
📈Оптимистичный сценарий (статья, кстати тоже от Goldman Sachs): будут 25% автоматизированы рабочих задач, прирост продуктивности работников в США - 9%, рост ВВП — 7% в течение 10 лет.
📉Сценарий Даррена (статья): автоматизация затронет меньше 5% рабочих задач, прирост продуктивности будет ~0.5% и меньше 1% роста ВВП.
Ведущая задала смешной вопрос:
- может ли биг-тех в текущей ситуации действовать иначе, учтывая шанс, что инвестиции не окупятся никогда?
- не могут, потому что даже с минимальным шансом, что это когда-либо произойдет, они не могут позволить себе допустить, что технология первой окажется у конкурентов. в общем все побежали, и я побежал, молох в действии.
А еще сегодня вышла статья с оценкой расходов openAI — траты на зарплаты ~1500 разработчиков — $1.5 млрд в год (да, это в среднем🙈по миллиону на человека) и еще $3.5 млрд на GPU. То есть 5 млрд убытков при $3.5 млрд выручки
⚰️ Эти сумасшедшие расходы подпитываются уверенностью в том, что через 2-5-10 лет наступит AGI, который автоматизирует нас всех и заработает все деньги мира сам. Но что если нет? В таком случае пузырь лопнет очень громко. И в каком лагере вы лично - скептиков или энтузиастов?
#AI #economy
И еще к теме последнего поста – более подробный разбор отчета Goldman Sachs про over investments in AI от Вити Осыки.
В общем мнения экспертов противоречивы, но все сходятся в том, что еще не найден killer application of AI, который поддерживал бы растущий тренд продолжительное время. И если он не будет найдет в ~ ближайший год, пузырь таки лопнет. Но в этом не будет ничего радикально нового, потому что вспомните например про метаверс.
И в целом рекомендую канал Вити @progresspunk, если следите за трендами в мире технологий. Он читает много лидеров мнений и делится выжимками из первых уст.
#AI #economy
В общем мнения экспертов противоречивы, но все сходятся в том, что еще не найден killer application of AI, который поддерживал бы растущий тренд продолжительное время. И если он не будет найдет в ~ ближайший год, пузырь таки лопнет. Но в этом не будет ничего радикально нового, потому что вспомните например про метаверс.
И в целом рекомендую канал Вити @progresspunk, если следите за трендами в мире технологий. Он читает много лидеров мнений и делится выжимками из первых уст.
#AI #economy